Корпорация Oracle сообщила о доступности облачного суперкластера с ускорителями NVIDIA H200, предназначенного для ресурсоёмких ИИ-нагрузок, включая обучение больших языковых моделей (LLM). Арендовать мощности системы можно по цене от $10 в час в расчёте на GPU.

Кластер масштабируется до 65 536 ускорителей. В максимальной конфигурации теоретическое пиковое быстродействие достигает 260 Эфлопс на операциях FP8, что более чем в четыре раза превышает показатели систем предыдущего поколения. Утверждается, что на сегодняшний день это самый высокопроизводительный облачный ИИ-суперкомпьютер, доступный в облаке. Сейчас компания готовится к созданию облачного кластера из 131 тыс. NVIDIA B200.

Новые инстансы получили обозначение BM.GPU.H200.8. Каждая виртуальная машина типа Bare Metal (без гипервизора) содержит восемь изделий NVIDIA H200 (141 Гбайт памяти HBM3e), объединённых посредством NVIDIA NVLink. Задействованы два процессора Intel Xeon Platinum 8480+ поколения Sapphire Rapids (56C/112T; до 3,8 ГГц; 350 Вт). Объём системной памяти DDR5 составляет 3 Тбайт. В состав локального хранилища входят восемь NVMe SSD вместимостью 3,84 Тбайт каждый.

Источник изображения: NVIDIA

Кластер использует кастомную RoCE-сеть на базе NVIDIA ConnectX-7 с суммарной пропускной способностью 3200 Гбит/с (восемь каналов по 400 Гбит/с) на узел. Инстансы включают frontend-сеть с пропускной способностью 200 Гбит/с. По данным Oracle, каждый инстанс в суперкластере содержит на 76 % больше памяти HBM по сравнению с виртуальными машинами на основе NVIDIA H100, а пропускная способность памяти увеличена на 40 %. Таким образом, производительность инференса выросла в 1,9 раза.

В ноябре корпорация Oracle начала новый раунд сокращений и особенно сильно от этого пострадало облачное подразделение Oracle Cloud Infrastructure (OCI), пишет ресурс Data Center Dynamics со ссылкой на данные издания Channel Futures.

Как утверждает Channel Futures, было уволено несколько сотен сотрудников подразделения OCI. Впрочем, отметило издание, точные цифры неизвестны, поскольку на онлайн-форуме для обсуждения увольнений TheLayOff.com сообщалось о том, что первого ноября было уволено около 15 человек, включая «некоторых высокопрофессиональных» сотрудников. При этом люди пропадали из Slack в течение двух-трёх часов, так что им явно не предлагали поискать другую позицию внутри компании.

Источник изображения: Oracle

Вместе с тем один из комментировавших ситуацию в анонимной социальной сети Blind оценил количество уволенных в несколько сотен, причём это коснулось как недавних выпускников ВУЗов, так и занимающих высокие посты. Он предположил, что компания стремится заменить старших специалистов на менее опытных сотрудников с более низкой зарплатой. По данным Channel Futures, увольнения в первую очередь затронули сотрудников компании в США.

В LinkedIn по крайней мере три сотрудника сообщили, что были уволены Oracle в октябре. Каждый из них проработал в Oracle около года. Один из них занимал должность консультанта по развитию бизнеса, второй — должность инженера по облачным решениям, третий работал в качестве должность менеджера программы Oracle for Startups.

Около месяца назад Oracle объявила о сокращении рабочих мест, которое затронуло подразделения в США, Южной Европе и некоторых частях региона EMEA. Новость о следующей волне сокращений появилась через несколько месяцев после того, как Oracle завершила приобретение поставщика систем здравоохранения Cerner. Несколько СМИ сообщили, что Oracle закроет некоторые офисы Cerner в Канзас-Сити, включая штаб-квартиру, но это не приведёт к увольнениям, поскольку сотрудники переедут в кампус Oracle Innovations.

Oracle намерена потратить $6,5 млрд на создание ЦОД и облачного региона в Малайзии. Как сообщает Bloomberg, компания станет последним крупным игроком, принявшим решение инвестировать в ИИ-инфраструктуру Юго-Восточной Азии. Пресс-служба самой компании объявила, что новый облачный регион даст возможность использовать инфраструктуру и сервисы ИИ, перенося критически важные нагрузки в Oracle Cloud Infrastructure (OCI).

Создаваемое публичное облако поможет малайзийским компаниям модернизировать свои приложения, перенести в облако все типы рабочих нагрузок и выполнять ряд других задач. Клиенты получат доступ к агентам OCI Generative AI, ускоренным вычислениям и сервисам на базе генеративного ИИ, позволяющим хранить и обрабатывать суверенные модели в границах страны, а также доступ к OCI Supercluster на базе новейших ускорителей NVIDIA GB200 NVL72. Место размещения региона не названо, но облачные мощности страны сосредоточены в Джохоре и Куала-Лумпуре.

Власти Малайзии приветствовали инициативу компании, работающей в стране уже в 36 лет. Только в этом году в облако OCI мигрировали две малайзийские компании — IHH Healthcare и Great Eastern. Ожидается, что инвестиции помогут развитию технологий для малого и среднего бизнеса, а также будут способствовать реализации национального план New Industrial Master Plan, предусматривающего создание в стране 3 тыс. «умных производств» к 2030 году.

Источник изображения: Jaanus Jagomägi/unsplash.com

Малайзия становится крупным рынком ЦОД в Азиатско-Тихоокеанском регионе и имеет большие амбиции по его дальнейшему расширению. Хотя Сингапур начал постепенно ослаблять ограничения, связанные с мораторием на строительство новых ЦОД, Малайзия рассчитывает переманить к себе значительное число новых проектов у соседа.

В начале октября 2024 года Google начала строительство дата-центра в Куала-Лумпуре, вскоре после анонса партнёрства с DNeX для предоставления в стране суверенных облачных сервисов и намерена вложить $2 млрд в ЦОД и облако в Малайзии. AWS запустила малайзийский облачный регион в августе, а Microsoft анонсировала планы создания в Куала-Лумпуре региона Azure ещё в апреле 2021 года. Общая сумма инвестиций должна составить $2,2 млрд. Oracle не называет точных временных рамок развёртывания инфраструктуры в Малайзии, но нет сомнений, что она готовится побыстрее получить часть ИИ-пирога в регионе.

Компания Uber намерена использовать кастомные Arm-процессоры Ampere Computing в облаке Oracle Cloud Infrastructure (OCI). В частности, компании займутся оптимизацией чипов для ИИ-задач. До недавнего времени Uber использовала преимущественно собственные ЦОД, но в 2022 году приняла решение перенести большую часть задач в облака.

С ростом количества ЦОД и зон доступности управлять IT-инфраструктурой Uber становилось всё сложнее. На ввод в эксплуатацию новой зоны порой требовались месяцы и сотни специалистов, поскольку управление серверами происходило чуть ли не «вручную», а инструменты автоматизации часто подводили. Рассмотрев различные варианты развития, Uber постепенно пришла к сотрудничеству с Ampere, Goolge и Oracle. А в феврале 2023 года компания подписала крупные семилетние облачные контракты с Google и Oracle.

По данным Uber, водители и курьеры компании выполняют более 30 млн заказов ежедневно. Для этого требуется большая IT-инфраструктура, например, для оптимизации маршрутов, в том числе с применением ИИ-технологий — ежесекундно к ИИ-моделям приходит 15 млн запросов. По оценкам Uber и Ampere, перенос нагрузок в OCI не только снизил инфраструктурные затраты, но и уменьшил энергопотребление на 30 %. Сейчас компании совместно работают над новыми чипами, выявляя, какие изменения в микроархитектуру стоит внести, чтобы будущие процессоры оптимально подходили для задач Uber.

Источник изображения: Denys Nevozhai/unsplash.com

Собственные Arm-процессоры разрабатывают AWS, Google Cloud и Microsoft Azure — Graviton, Axion и Cobalt 100 соответственно. Однако кастомизацией под конкретного клиента, пусть даже крупного, они не занимаются. Тем не менее, эксперты IDC считают, что облачные клиенты безусловно выиграют от совместной подготовки с разработчиками чипов новых полупроводниковых решений. Клиенты могут обладать специфическими знаниями и интеллектуальной собственностью, но как правило не имеют возможности самостоятельно вывести на рынок готовый продукт.

Сейчас Uber переносит тысячи микросервисов, многочисленные платформы хранения данных и десятки ИИ-моделей в OCI. Компания уже перевела значительную часть бессерверных рабочих нагрузок на платформы на базе Ampere. Впрочем, дело не ограничивается только Ampere — компания также активно использует инстансы на базе чипов AMD.

Облачная платформа Oracle Cloud Infrastructure (OCI) задействовала ускорители AMD Instinct MI300X и открытый программный стек AMD ROCm в составе новейших инстансов BM.GPU.MI300X.8. Они предназначены для ресурсоёмких ИИ-нагрузок, включая обработку больших языковых моделей (LLM), насчитывающих сотни миллиардов параметров.

Инстансы BM.GPU.MI300X.8 типа Bare Metal объединяют восемь ускорителей Instinct MI300X, каждый из которых несёт на борту 192 Гбайт памяти HBM3 с пропускной способностью 5,3 Тбайт/с. Утверждается, что модель Hugging Face OPT с 66 млрд параметров может быть запущена на одном Instinct MI300X.

В составе инстансов задействованы два процессора Intel Xeon Sapphire Rapids с 56 ядрами. Объём оперативной памяти DDR5 составляет 2 Тбайт. Для хранения данных используются восемь NVMe SSD вместимостью 3,84 Тбайт каждый. Инстансы включают frontend-сеть с пропускной способностью 100 Гбит/с, а в составе кластера применяются соединения уровня 400G (×8).

Источник изображения: AMD

Стоимость подписки на BM.GPU.MI300X.8 составляет $6/час за каждый ускоритель. Платформа OCI Supercluster на базе AMD Instinct MI300X может объединять до 16 384 ускорителей, что позволяет заказчикам гибко масштабировать вычислительные ресурсы под свои задачи, говорит компания. Отмечается, что появление новых инстансов предоставит клиентам OCI больше возможностей в плане организации высокопроизводительных и эффективных вычислений при реализации сложных ИИ-проектов.

Кроме того, компания предлагает и кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в I половине 2025 года заказчикам станет доступен зеттафлопсный облачный ИИ-суперкомпьютер из 131 072 ускорителей NVIDIA B200 (Blackwell).

Oracle и NVIDIA анонсировали самый крупный на сегодняшний день облачный ИИ-кластер, состоящий из 131 072 ускорителей NVIDIA B200 (Blackwell). По словам компаний, это первая в мире система производительностью 2,4 Зфлопс (FP8). Кластер заработает в I половине 2025 года, но заказы на bare-metal инстансы и OCI Superclaster компания готова принять уже сейчас. Заказчики также смогут выбрать тип подключения: RoCEv2 (ConnectX-7/8) или InfiniBand (Quantum-2).

По словам компании, новый ИИ-кластер вшестеро крупнее тех, что могут предложить AWS, Microsoft Azure и Google Cloud. Кроме того, компания предлагает и другие кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в следующем году обещаны кластеры на основе GB200 NVL72, объединяющие более 100 тыс. ускорителей GB200. В скором времени также появятся и куда более скромные ВМ GPU.A100.1 и GPU.H100.1 с одним ускорителем A100/H100 (80 Гбайт).

Прямо сейчас для заказы доступны инстансы GPU.H200.8, включающие восемь ускорителей H200 (141 Гбайт), 30,7-Тбайт локальное NVMe-хранилище и 200G-подключение. Семейство инстансов на базе NVIDIA Blackwell пока включает лишь два варианта. GPU.B200.8 предлагает восемь ускорителей B200 (192 Гбайт), 30,7-Тбайт локальное NVMe-хранилище и 400G-подключение. Наконец, GPU.GB200 фактически представляет собой суперускоритель GB200 NVL72 и включает 72 ускорителя B200, 36 Arm-процессоров Grace и локальное NVMe-хранилище ёмкостью 533 Тбайт. Агрегированная скорость сетевого подключения составляет 7,2 Тбит/с.

Источник изображения: Oracle

Для всех новых инстансов Oracle подготовит управляемое Lustre-хранилище с производительностью до 8 Гбит/с на каждый Тбайт. Кроме того, компания предложит расширенные средства мониторинга и управления, помощь в настройке инфраструктуры для достижения желаемого уровня реальной производительности, а также набор оптимизированного ПО для работы с ИИ, в том числе для Arm.

Акции Oracle выросли во вторник более чем на 10 % после публикации отчёта за I квартал 2025 финансового года, завершившегося 31 августа. Выручка компании выросла на 7 % с $12,5 млрд годом ранее до $13,3 млрд при консенсус-прогнозе аналитиков, опрошенных FactSet, в $13,2 млрд. Скорректированная прибыль на акцию (Non-GAAP) составила $1,39 при прогнозе аналитиков $1,33.

Выручка Oracle от облачных сервисов (IaaS и SaaS) выросла год к году на 21 % до $5,6 млрд. Выручка от лицензирования облачных продуктов увеличилась на 7 % до $870 млн, а выручка сегмента Cloud Infrastructure (IaaS) увеличилась на 45 % до $2,2 млрд. «Поскольку облачные сервисы стали крупнейшим бизнесом Oracle, рост как нашего операционного дохода, так и прибыли на акцию ускорился», — указала в пресс-релизе гендиректор Oracle Сафра Кац (Safra Catz). Чистая прибыль (GAAP) компании составила $2,9 млрд или $1,03 на акцию, по сравнению с $2,4 млрд или $0,86 на акцию годом ранее (рост — 21 %).

Кац также сообщила в отчёте о заключении соглашения с AWS о размещении СУБД-инфраструктуры Oracle Database. AWS является крупнейшим поставщиком облачных сервисов по доле рынка. В отдельном пресс-релизе, посвящённом сделке, председатель и главный технический директор Ларри Эллисон (Larry Ellison) сообщил, что Oracle видит «огромный спрос» со стороны клиентов на работу с несколькими провайдерами облачных услуг. Таким образом, Oracle смогла склонить к сотрудничеству всё трёх ключевых игроков облачного рынка — ранее аналогичные сделки были заключены с Google и Microsoft.

Источник изображения: Oracle

«Чтобы удовлетворить этот спрос и предоставить клиентам выбор и гибкость, которые им нужны, Amazon и Oracle бесшовно соединяют сервисы AWS с новейшей технологией Oracle Database, включая Oracle Autonomous Database», — сказал Эллисон. «Благодаря развёртыванию инфраструктуры Oracle Cloud внутри ЦОД AWS мы можем предоставить клиентам максимально возможную производительность базы данных и сети», — добавил он.

Эллисон рассказал, что у Oracle есть 162 действующих и строящихся облачных ЦОД по всему миру. Самый большой из них имеет будет ёмкость 800 МВт, что позволит разместить множество кластеров ускорителей NVIDIA для обучения крупномасштабных моделей ИИ. А площадки для размещения ускорителей компании очень нужны, поскольку в отчётном квартале Oracle подписала 42 дополнительных контракта на облачные GPU на общую сумму $3 млрд, но не смогла заключить $10-млрд сделку с xAI.

Однако это не предел и компания «скоро» начнёт строительство ЦОД мощностью более 1 ГВт. По словам Эллисона, для одного из этих проектов уже выбрано место, и он находится в процессе проектирования. ЦОД будет работать на атомной энергии, поскольку Oracle получила разрешение на три малых модульных ядерных реакторов (SMR). Аналогичные проекты разрабатываются с участием компании Oklo, поддерживаемой главой OpenAI Сэмом Альтманом (Sam Altman). Впрочем, последняя уже присматривается к термоядерной энергетике. Microsoft, тесно связанная с OpenAI, тоже изучает SMR. Amazon же не стала мудрствовать и просто приобрела кампус, напрямую запитанный от обычной АЭС.

В текущем финансовом квартале компания ожидает получить скорректированную прибыль (Non-GAAP) в пределах $1,45–1,49 на акцию при росте выручки год к году на 7–9 %. Согласно консенсус-прогнозу аналитиков, опрошенных FactSet, скорректированная прибыль Oracle составит $1,48 на акцию.

Oracle намерена взять в аренду ЦОД Crusoe Energy, более всего известной проектами в сфере криптомайнинга. По данным Datacenter Dynamics, речь идёт о крупной сделке в интересах облака Oracle Cloud Infrastructure, которое в свою очередь будет обслуживать OpenAI.

ИИ-стартап xAI Илона Маска (Elon Musk), отказавшись от сделки с Oracle по созданию крупного ИИ-кластера, походя сообщил о другом партнёре Oracle, готовом разместить в своих ЦОД ускорители NVIDIA GB200. Теперь же выяснилось, что этим партнёром и является Crusoe Energy, а компании уже близки к заключению сделки. Crusoe сдаст ЦОД в аренду Oracle, а та разместит как минимум часть из 100 тыс. ускорителей, предназначенных для нужд Microsoft. Microsoft же предоставит их в пользование OpenAI.

Ранее с Crusoe Energy сотрудничала Lancium, строившая ЦОД для криптомайнинга в техасском Абилине (Abilene). Получивший добро в 2021 году Project Artemis описывался как кампус ЦОД с питанием от возобновляемой энергии, площадью более 320 га и ёмкостью до 200 МВт с возможностью расширения до 1 ГВт. Строительство должно было начаться в I квартале 2022 года.

Источник изображения: Pete Alexopoulos/unsplash.com

Основанная в 2018 году Crusoe Energy начала с поставок контейнерных ЦОД на нефтяные поля, где те могли использовать попутный природный газ из скважин для генерации электричества. Сейчас компания постепенно переходит от размещения модульных ЦОД рядом с нефтяными скважинами к строительству стационарных кампусов ЦОД и предлагает типовой проект ёмкостью до 100 МВт с возможностью размещения до 100 тыс. ускорителей. Также компания предлагает HPC/ИИ-ресурсы, в том числе посредством Crusoe Cloud.

В последнем ESG-докладе Crusoe заявляла, что располагает ЦОД ёмкостью порядка, а около трети облака Crusoe Cloud снабжалось энергией за счёт газа с нефтяных скважин, оставшаяся ёмкость приходилась на сторонние ЦОД. Она, в частности, арендует мощности у atNorth и Digital Realty. Также компания намерена получить ещё 100 МВт от ветряной электростанции.

Многие криптовалютные компании перепрофилируют деятельность под связанные с ИИ проекты, создавая облака на основе собственных ускорителей и/или размещая чужое оборудование на своих объектах. В числе подобных компаний — CoreWeave, Core Scientific,Northern Data, Hut 8 и Applied Digital.

ИИ-стартап Илона Маска (Elon Musk) xAI отказался от планов по расширению сотрудничества с Oracle. Как пишет The Wall Street Journal, во вторник миллиардер сообщил в соцсети X, что xAI прекратил переговоры с облачным провайдером о сделке на $10 млрд по поводу расширения аренды вычислительных мощностей, поскольку стартап сам построит «самый мощный кластер для обучения [ИИ-моделей] в мире с большим запасом».

Сообщивший ранее о срыве сделки ресурс The Information рассказал, что многолетнее соглашение об аренде у Oracle запланированного к строительству суперкомпьютера на чипах NVIDIA уже было на стадии подписания, но переговоры зашли в тупик из-за того, что Маска не устроили сроки строительства, предложенные Oracle. Oracle же заявила об отсутствии доступа к адекватному источнику энергии для работы ИИ-суперкомпьютера в выбранном xAI регионе.

Источник изображения: xAI

В итоге Маск заявил, что «самый мощный суперкомпьютер в мире» будет построен стартапом в Мемфисе (штат Теннесси, США) и начнёт работу осенью 2025 года. Ранее Маск сообщил, что в течение следующих нескольких месяцев xAI развернёт кластер из 100 тыс. ускорителей NVIDIA H100 с жидкостным охлаждением, а летом следующего года запустит ещё один кластер из 300 тыс. ускорителей NVIDIA B200.

Как отметил ресурс Data Center Dynamics, xAI уже арендует у Oracle около 16 тыс. ускорителей NVIDIA, что делает его одним из крупнейших клиентов провайдера облачных услуг. Стартап также использует для работы сервисы AWS и резервные мощности в ЦОД соцсети X (Twitter). Oracle также предоставляет свою ИИ-инфраструктуру Microsoft и OpenAI.

IT-гигант Oracle запустил второй облачный регион в Сингапуре. По данным Datacenter Dynamics, Oracle Cloud Region открыт в ответ на растущий спрос на ИИ и облачные сервисы. А благодаря услуге FastConnect доступна быстрая удобная связь с партнёрскими ЦОД Console Connect, Digital Realty, Equinix и Megaport.

Впервые планы по созданию второго облачного региона обнародовали в апреле 2023 года. Первый был открыт в Сингапуре в ноябре 2021-го и поддерживал более 1 тыс. клиентов из Юго-Восточной Азии, включая Pacific International Lines и Siam Makro. Oracle стремится к развёртыванию минимум двух облачных площадок в одной стране для обеспечения дополнительной надёжности.

Источник изображения: Annie Spratt/unsplash.com

Особо активно развивается в стране Google — с 2011 года она построила три дата-центра и развернула облачный регион, а в прошлом месяце компания завершила очередное расширение инфраструктуры. В 2010 году AWS и Microsoft запустили в Сингапуре свои облачные регионы. В 2018 году AWS добавила третью зону доступности (у Azure изначально были три), а в мае 2024 года выразила готовность потратить $9 млрд на облачную инфраструктуру в стране. В 2022 Microsoft объявила о создании суверенного облака.

Сегодня Сингапур готовится ввести в действие ряд норм, которые затронут облачный сектор. В числе прочего речь идёт о законе Digital Infrastructure Act, который потребует от причастных сторон сообщать о значимых сбоях и киберинцидентах. В 2023 году местные власти рассматривали присвоение дата-центрам и облакам статуса объектов критической инфраструктуры. При этом дальнейшее развитии индустрии ЦОД в стране находится под вопросом.